Longstreet sollte so früh wie möglich angreifen; der Angriffsbeginn verzögerte sich jedoch, weil Longstreet auf das Eintreffen einer Brigade warten musste und während der Annäherung eine Beobachtungsstation auf dem Little Round Top erkannt wurde. Um unerkannt zu bleiben, mussten die Truppen zurück. Als Generalmajor John B. Hood gegen 16:00 Uhr die Stellungen Sickles’ erkannte, wollte Hood den Operationsplan ändern und ostwärts der Round Tops nach Norden angreifen, was Longstreet ablehnte. Schließlich griff Hood eigenmächtig gegen 16:30 Uhr die beiden Tops und Devil’s Den an. Nach der Einnahme von Devil’s Den griff die Alabama Brigade unter dem Kommando Brigadegeneral Laws mit Unterstützung zweier texanischer Regimenter der Brigade Robertsons in Richtung auf die Tops an. Nachdem Hoods Brigaden gegen 17:00 Uhr Devil’s Den genommen hatten, griff McLaws Division das III. Korps, das inzwischen durch Brigaden des V. Korps verstärkt worden war, beim Wheatfield und am Peach Orchard an. Die Unionsverbände wurden gegen 17:30 Uhr aus dem Wheatfield nach Osten gedrängt und gleichzeitig gelang den Konföderierten ein Einbruch am Peach Orchard. Die Truppen des III. und V. Korps waren in Auflösung und flohen nach starken Verlusten in Richtung der nördlich der Tops liegenden Cemetery Ridge, des wegen des ‘High Grounds’ am Peach Orchard am Mittag von Sickles aufgegebenen Gebietes. Eine von Meade befohlene Verstärkung aus dem II. Korps, Brigadegeneral John C. Caldwells Division, erreichte gegen 18:00 Uhr den Kampfraum, und es gelang, den Angriff der konföderierten Armee kurzfristig zu stoppen.

Die Konföderierten griffen gegen 19:30 Uhr erneut durch das Wheatfield an und wurden wiederum durch einen Gegenangriff am nördlichen Ende des Little Round Top abgewehrt. Die dritte für den Angriff bereitgestellte Division Andersons aus A.P. Hills Korps begann den Angriff nördlich Peach Orchard gegen die rechte Flanke von Sickles Korps gegen 18:00 Uhr. Die beiden dort eingesetzten Unions-Brigaden mussten ausweichen. Diese Ausweichbewegung war der Auslöser für den Zusammenbruch des gesamten rechten Flügels des III. Korps.Um Zeit für die Vorbereitung der Verteidigung entlang Cemetery Ridge zu schaffen, befahl der Kommandierende General des II. Korps, Generalmajor Winfield S. Hancock, dem 1. Minnesota Regiment, die angreifenden Konföderierten durch einen Gegenangriff aufzuhalten. Trotz erdrückender Überlegenheit der Südstaatler trat das Regiment an und verlor innerhalb weniger Minuten 224 von 262 Mann, den prozentual höchsten Verlust, den jemals ein Regiment der US-Armee erlitten hatte und erleiden sollte. Wilcox' Südstaatenbrigade wurde gestoppt. Die beiden anderen am linken Flügel von Andersons Division eingesetzten Brigaden fanden jedoch schnell die Lücke, die sich durch den Zusammenbruch ergeben hatte, und drängten auf Cemetery Ridge. Für einige Zeit waren dort General Meade und sein Stab die einzigen Verteidiger der Union. Ob die Südstaatler die Kuppe der Cemetery Ridge erreicht hatten, ist historisch umstritten – vieles spricht jedoch dafür. Brigadegeneral Ambrose Wright konnte die Höhe jedoch nicht halten, da er keine Verstärkungen erhielt. Die links von Wright eingesetzten Brigaden gingen nur zögernd vor oder blieben stehen. Sogar den ausdrücklichen Befehl Andersons, weiter vorzugehen, ignorierte einer der Brigadekommandeure. Schließlich musste Wright wieder auf die Emmitsburg Road ausweichen. Der Kampf fand bei Einbruch der Dunkelheit auf ganzer Breite ein Ende. Während dieses Angriffs wurde Generalmajor Pender am Bein getroffen, als er die Front seiner Division, die sich zur Unterstützung des Angriffs formierte, abritt. Pender verstarb an den Folgen der Amputation. Brigadegeneral Trimble übernahm die Division.